Die Stadt hat ihren Namen vom Wat Phnom Daun Penh (Hügeltempel), der 1373 auf einem künstlichen 27 m hohen Hügel errichtet wurde, um fünf Statuen von Buddha aufzunehmen.

Im Jahre 1434 verlegten die Khmerkönige ihre Residenz von Angkor nach Phnom Penh, da jenes 1431 von Siam erobert worden war. In dem 16. Jahrhundert wurde sie wieder verlassen. Erst seit 1866 wurde Phnom Penh unter König Norodom I. der ständige Regierungssitz. 1867 wurde sie auch Sitz der französischen Kolonialverwaltung. Die Franzosen bauten die Stadt auf und schufen ein Kanalsystem, um die Feuchtgebiete um die Stadt zu kontrollieren. Eine Eisenbahn nach Kampong Som wurde ebenfalls gebaut.

Während des Vietnamkrieges wurde Kambodscha einschließlich Phnom Penh von der nordvietnamesischen Armee als Stützpunkt genutzt. Vor den Kämpfen zwischen Nord- und Südvietnamesen, US-Amerikanern und Roten Khmer strömten tausende von Flüchtlingen in die Stadt, die auf etwa zwei Millionen Einwohner anwuchs.

Am 17.04 1975 fiel die Stadt an die Roten Khmer. Diese trieben die Einwohner aufs Land, da in ihrer Ideologie Städte schlecht waren und sie einen kommunistischen Bauernstaat erschaffen wollten. Ein großer Teil der Bevölkerung kam in der Folge ums Leben bzw. wurde getötet. Seit der Vertreibung der Roten Khmer durch vietnamesische Truppen 1979 erholt sich die Stadt wieder.